Thomas Sean Connery, dinamakan Thomas daripada neneknya; beliau dilahirkan di Fountainbridge, Edinburgh, Scotland pada 25 Ogos 1930. Ibunya, Euphemia McBain "Effie" (née McLean), merupakan seorang pencuci dan bapanya, Joseph Connery, merupakan seorang pekerja kilang dan pemandu lori. Moyangnya migrasi ke Scotland dari Ireland pada kurun ke-19. Saki baki keluarganya ialah berketurunan Scotland dan datuk ibunya bercakap Gaelic Scotland dari Fife dan Uig di Isle of Skye. Bapanya merupakan seorang Katolik Roman dan ibunya merupakan protestan. Beliau mempunyai adik, Neil (L. 1938). Connery mendakwa bahawa beliau digelar sebagai Sean, nama tengahnya, sebelum beliau menjadi seorang pelakon. Beliau juga mendakwa bahawa beliau mempunyai seorang kawan yang bernama Séamus dan sesiapa yang mengenali mereka memutuskan untuk memanggi Connery dengan nama tengahnya. Beliau sering digambarkan pada masa muda sebagai "Tommy". Walaupun beliau masih bersekolah rendah, beliau meningkat ketiga usia 12 tahun, mencapai ketinggian 6 kaki 2 inci (188 sentimeter) pada usia 18 tahun. Beliau dikenali sebagai "Big Tam" (Tam Besar).

Pekerjaan Connery yang pertama ialah penjual susu di Edinburgh bersama Kesatuan Koperatif St. Cuthbert. Beliau kemudianny berkhidmat untuk tentera tentera laut, dimana beliau mendapat dua tatu . Tatunya membawa makna yang memberi komitmen kehidupan pada beliau; satu tatu tertulis "ibu bapa" dan satu lagi menulis "Scotland Selamanya". Connery dibuang tentera laut kerana mengalami ulser deodenum yang pernah dialami oleh lelaki daripada keturunan beliau. Selepas itu, beliau bekerja ke koperasi, kemudian bekerja sebagai pemandu lori, pengawal keselamatan di kolam renang Portobello, pekerja buruh, seorang model artis untuk Kolej Seni Edinburgh, dan selepas mendapat pengesyoran dari bekas Encik Scotland, Archie Brennan, seorang pengillap keranda. Kerja moden mendapat 15 syiling setiap jam. Seniman pelajar, Richard Demarco yang telah menulis beberapa lukisan Connery menggambarkan beliau sebagai "Sangat lurus, agak pemalu, terlampau, terlampau cantik untuk dikatakan, seorang Adonis maya".

Connery memulakan bina badan pada usia 18 tahun dan dari 1951, beliau berlatih dengan kuat bersama Ellington, bekas jurulatih gim dalam tentera British. Beliau mendakwa bahawa beliau merupakan petanding dalam 1950 Mr. Universe, kebanyakkan sumber meletakkan beliau dalam pertandingan 1953, dalam ketiga-tiga kelas Junior atau jatuh ke klasifikasi Orang Tinggi. Connery mula mengurangkan bina badan apabila menjumpai seorang orang Amerika selalu menewaskan beliau dalam pertandingan tersebut kerana saiz otot dan tidak seperti Connery, menolak untuk bertanding dalam aktiviti atlet kerana boleh membuat mereka hilang kekuatan otot.

Connery juga merupakan bekas pemain bola, pernah bermain untuk Bonnyrigg Rose ketika usia muda beliau. Beliau pernah ditawar percubaan di East Fife. Semasa pelancongan ke South Pasific, Connery bermain bola menentang pasukan tempatan dimana Matt Busby, pengurus Manchester United, tampil untuk meninjau. Menurut laporan, Busby amat kagum dengan fizikal Connery dan menawarkan kontrak bernilai £25 seminggu selepas perlawanan tersebut. Connery mengaku bahawa beliau minat dengan tawaran itu tetapi mengimbas semula, "Saya menyedari pemain bola sepak terbaik hanya akan mencapai puncak ketika berusia 30 tahun, dan saya sudah berusia 23 tahun. Saya membuat keputusan untuk menjadi seorang pelakon dan ianya ditukar menjadi sebuah pergerakkan yang bijak."